查看原文
其他

论坛实录丨云计算,让地理能力触手可及

geohey 极海纵横 2019-06-30

点击图片填写用户调查问卷,留下您的注册邮箱

免费获得3个月GeoHey平台标准版服务

在云计算的技术背景下,我们如何能快速的获得地理能力、解决地理问题?

 

大家都知道,地理数据已经非常丰富,这让越来越多的行业意识到地理数据的价值。比如说,房地产行业就在通过分析商圈的职住比、娱住比,给目标用户画像,来决定要不要拿地,拿完地设计什么样的户型,才能卖的好;零售行业,通过分析客户和POI的关系,分析未来客户的空间分布,为新店选址提供依据。所以说,通过地理技术挖掘地理数据价值越来越被看做是一种能力。

 

但是具体去做的时候会发现这里面困难重重,比如说专业知识的门槛、数据的缺失、还有地理大数据本身带来的技术问题等等,这些不光是成本,有可能会导致你的计划根本就无法实施。

我们有一位地产行业的用户,之前就面临着这样的问题。地产行业对地块特别重视,很多分析都要围绕地块展开。以前这种工作都是委托给第三方的咨询公司来做。现在他们要自己做。由总部制定解决方案,然后给20多家分公司做培训。总部开始使用传统专业软件来做,发现专业性太强,很难在短时间内掌握,更不要说还要培训20多家分公司使用。后来他们在极海平台很快就把这块业务开展了起来。经过允许,这里展示一份他们的分析结果。通过这个例子可以看出来,对于没有任何地理技术背景的人来说,能够这么快的速度把地理技术融入到业务流程里面去,并且取得突破,我觉得这个是挺令人欣慰的一件事情,也意味着地理技术并没有你想象中的那么难,关键你要采取什么样的形式。

 

能够用一种非常简单的方式把地理技术引入到业务中去,并且快速取得突破,这就是云计算带来的好处。

 

极海平台在做的事情,就是把地理技术的专业性复杂性放在云端,用户通过简单操作就能解决问题。所以在极海平台里面,不光有计算资源,还有专业的分析模型,丰富的数据,以及满足各种需求的服务接口和在线工具。但这些对用户来说都是透明的,不用知道这里面的细节。

 

下面我们通过几个实际的场景,来看看,极海平台都能解决什么样的问题,以及是如何解决的。大家可以看一看,你遇到的问题,是否可以用同样的方式来解决。

 

我们先来看第一个场景:给250万的轨迹点做一幅热度图。

 

这是一位中科院博士的需求,他研究的课题是通过用户的位置交互信息预测用户之间的关系,他想把250万轨迹点做成热度图。类似的需求,他以前会自己写些代码,用前端可视化技术来实现,但是250万数量太大了。大家可以想象一下,如果你手里有这份250万的轨迹数据,会怎样做,需要多长的时间?本质上来说,这是一种海量数据可视化的需求。我们来看一下在极海平台如何来实现这个需求。

 https://v.qq.com/txp/iframe/player.html?vid=i0520zl6upn&width=500&height=375&auto=0
这是一款基于浏览器的在线工具-数据上图。打开这个轨迹数据,总共有254万个点。默认渲染方式密密麻麻,看不出什么信息。我们来简单设置一下。先把点的半径尺寸改为一个像素,再去掉白色轮廓线,现在看的清楚一些了。为了突出点密度,可以选择一种渲染方式,让点越密集的地方越亮。看下效果,哪些地方点更密集已经比较明显了。

 

现在切换到热度图。因为点太密,默认参数看不出任何信息。我们再简单配置一下。先设置密度上限,相当于给热度降温。再把热点半径单位改为地理单位,半径设置成500米。这个效果已经差不多了。如果觉得不过瘾,让热点更突出,可以把半径再设置小一点,300米。现在,250万个点就变成了这样的热度图。

 

看起来很简单,对吧。那我们看一下云端都做了哪些事情。

 

第一件事儿,首先数据得上传到极海平台。谈到数据,我想大家或多或少都遇到一些问题,比如不同来源的数据有不同的格式;有的带坐标,有的不带坐标;坐标系也可能不统一,使用之前先要统一坐标系。

极海平台提供了全格式数据录入工具来解决这些问题。支持的格式除了这些常见的地理数据格式,也支持像Excel、CSV这样的文本数据。数据上传到平台以后,云端会做一系列的工作。比如说,把地址数据通过地理编码转成坐标,统一坐标系,把海量数据快速存储。而且,数据一旦进入平台,数据本身也变成了一种服务,可以通过数据服务来操作数据,其它服务都可以使用这个数据,比如做可视化、做空间分析。而在整个过程中用户需要做的就是通过浏览器选择你要上传的文件。而且依托云端的计算资源,千万量级的文本数据,极海平台5分钟以内就能完成入库。

 

数据上传到极海平台以后,你可能需要对数据纠错、或者追加新的数据。所以极海平台提供了数据编辑器,你可以用数据编辑器来维护你的数据,而且数据编辑是同步更新的。


下面重点来了,我来解释一下对250万数据做热度图的时候,云端都发生了什么事情。之所以通过浏览器简单配置就能做出几百万点的热度图,是因为极海平台有针对地理大数据的可视化服务。大家如果做过可视化方面的开发,就会知道,现在前端的渲染能力已经非常强悍,能做出非常酷炫的效果,但是数据量太大也难以支撑。


所以极海采取了一种云端和前端相结合的方式,充分发挥云端的计算优势和前端的渲染能力。极海采用动态切片技术,在云端对数据实时切片,前端负责渲染,比如说前面我们配置发亮的密度图,实际上在云端已经渲染成了图片。针对不同的可视化效果,切片也有不同的形式。比如针对带有时间属性的数据,可以对切片按照时间序列分层,形成数据立方体,云端计算出来的结果,交由前端动态渲染出来。

再看第二个场景,为城市地块统计POI密度,这个不仅仅是看了,其实是一种空间分析的需求,也是前面提到的地产行业用户的需求。这里面涉及三个要素:地块数据、POI数据、统计模型。挖掘地理数据价值,必须要通过空间分析,而在极海平台通过在线工具就可以完成这类分析工作,我们看一下。

这里选择了区域统计模型,区域数据选择已经准备好的地块数据,统计数据从公共数据中选择北京市POI数据,勾选统计密度,点运行。这样,在云端就会运行一个区域统计的模型,用刚才选取的参数。结束了,对,这样就完成了,我们看下结果。

最右边是计算结果。大家刚才应该已经注意到了,在刚才的操作中,区域数据使用的是用户的地块数据,而POI数据使用的是公共数据。也就是说,只要把地块数据上传上来,POI数据、分析模型极海平台已经都提供了。如果你没有地块数据,也没有关系,用前面提到的数据编辑器,可以在极海平台绘制地块数据。

这里要重点介绍一下极海公共数据服务。大数据时代,大家对数据的感受是不一样的。有人会觉得数据很难获取,有人会觉得数据到处都是,互联网上看到的都是数据。实际上,具体业务中对数据的要求是非常高的,因为数据质量会直接影响到如何决策,错误的数据会导致错误的决策。虽然互联网到处都是数据,但真正能用于数据分析、指导决策的数据并不容易获取。


所以极海平台把数据作为整个平台非常重要的一部分,把积累的数据作为公共数据服务提供给用户使用。目前已积累了十几个大类,数据量达到亿万级;涵盖不同的行业、不同的领域;数据也在不断更新迭代,最快的数据一个小时就会更新一次;极海有专门的技术团队采用大规模自动化处理技术来提升数据处理效率、利用规模数据交叉验证等手段提升数据质量。所以,当你需要数据的时候,不妨来极海平台看一看。

 

再来看个更复杂一点的场景,这个需求来自一位规划行业的用户,他想通过道路密度研究城市蔓延。具体做法是,用全国的十字路口数据,总共是840万,用半径1公里的六边形格网,统计每个六边形格网里面的路口数量。这个需求涉及这么几个要素:路口数据、格网数据、格网统计模型,因为数据量大,还要有足够的计算资源。大家想象一下,如果用传统方式,应该怎么去做,大概需要多长时间?

我们看下通过极海平台格网统计模型的计算结果。这是全国范围看的统计结果,这些密密麻麻的点其实是小网格。把地图放大到北京市。其实从结果上看,六边形已经把市区边界描绘的很清晰了。东城西城的道路网明显比其他区域密集。让人意外的事燕郊路口比通州还要更密集一些。840万路口,覆盖全国的半径1公里的六边形格网,大家觉得需要用多长时间?在极海平台15分钟就完成了,也就是刷个朋友圈的功夫。而且不需要你提供格网数据,可以按照指定的半径实时生成格网数据。

 

所以,在极海平台不仅提供了高效的空间分析模型,还提供了丰富的数据,数据+模型+计算能力,大家可以感受一下这和传统方式的差别。

 

下面来看一个比较轻松的场景,成果分享。云计算让分享这件事变的特别简单。就像我们的地产客户,原来只能用截图做汇报,现在可以把分析结果做成可操作的地图,展示更多细节。极海平台在设计之初就考虑到了如何让用户把成果非常方便的分享出去。

看几个例子,这个是BCL的官网,把BCL的研究成果发布到极海平台,然后嵌入到官网。比如,把博客相关内容做成可操作的地图。再比如,微信公众号GISer学习团一次线上交流的课件,把极海用户分享的成果嵌入到PPT课件。当然,你做的成果,也可以很方便的通过二维码分享到社交媒体进行传播。对,这个二维码大家现在就可以通过手机扫描浏览。

有一件事印象深刻。有一位用户用全球机场和航线数据做了一幅地图,转发到朋友圈QQ群,还把机场和航线数据放到了云盘供大家下载。然后就有人不断来尝试,后来就演变成了一次自发的制图比赛。那两天满屏的都是机场航线。我截了其中的几幅图和大家分享一下。谁说我们理工科不懂审美?图做的还是挺漂亮的。


这事对我们触动还是很大的,我们发现大家需要的不仅仅是把成果分享出来,还需要交流和碰撞。这让我们想到几个和地理数据有关的非常有影响力的社区。比如OpenStreetMap,这个大家没有不知道的。再比如Waze,靠社区司机共享路况从而改善路况。再比如Moovit,这是一家以色列公司,目前已经和极海在数据上展开合作,是靠社区众包的方式提升公共交通的出行体验。


极海平台应该也承担社区的作用。所以我们开发了数据分享功能,让用户可以自由分享自己的数据、分享的数据大家不仅可以用,还可以下载。现在,不断有新的成果从极海平台分享出来,大家通过这种方式交流对于地理数据的理解,对于地理数据价值的理解。随后,我们又开发了用户门户,让分享的成果有统一的出口。就像博客时代大家都有自己的博客,地理大数据时代,大家也都应该有一个地理门户。

在这方面,BCL创始人龙瀛老师最有发言权,这是BCL在极海平台的门户页面。今天也特别荣幸邀请到了龙瀛老师,龙瀛老师会在后面的时间和大家分享他在城市规划方面的最新研究,以及对极海平台的使用感受。

 

我们再看看第五个场景-开发,这个环节做开发的同学一定要好好听,因为我们前面演示的所有功能,大家通过极海SDK和服务,都能实现。极海一开始就把自身定义为平台,不仅要提供简单的在线工具供大家使用,也要支持通过开发解决业务上的问题。所以极海把一切能力都封装成服务,方便大家使用。除了前面提到的数据服务、可视化服务、空间分析服务,我们看看极海还提供了哪些服务。

前面介绍数据录入的时候已经提到过,对于没有坐标的数据,可以通过地理编码把地址转成坐标。中文地址有一些特点,比如文字是连续的,需要分词;地址书写通常不会太规范;再有,相同的词语在地址的不同位置会有不同的含义,比如朝阳这个词,可能是朝阳小学,有可能是朝阳市、朝阳区、还可能是超市、商场等等的名字;而且不同的地区地址规则也大不相同。这就导致了中文地址的解析不是一件很容易的事情。


极海利用千万级地址数据库,通过机器学习训练地址模型,用于对地址进行词性标注,从而提高地址匹配的精度。极海有一位客户对他的用户地址定位,之前采用的技术准确率只有60%,通过极海地理编码把准确率提高到了80%。


还有路径分析服务,极海的路径分析服务能做三件事情:一是路径规划,可用于物流配送;二是驾驶可达分析,可用来确定配送范围、服务区;三是公共交通到达分析,就是完全根据公共交通计算可达范围,大家可以看到,越是靠近地铁的地方,辐射的范围就越大。


还有地图服务。极海提供了10几种不同风格的地图服务,来满足不同行业、不同场景,尤其是数据可视化的应用场景。

有了丰富的服务以后,要想把这些功能集成到业务系统里面的话,还需要一个完备的前端SDK。极海基于HTML5技术自主研发了一套地图SDK,针对互联网和移动互联网提供良好的操作体验。通过今天的演示,大家应该已经感受到了极海SDK功能的丰富程度。

来看一个例子。这是由清华同衡技术创新中心基于极海云平台开发的规划大数据平台,用于监测城市运行指标。

 

最后一个场景。考虑到一些私有云的需求场景,极海平台有灵活的机制来支持私有化部署。


私有云的规模有大有小,用户规模、数据规模都不一样,这就要求极海平台具备灵活的伸缩能力。极海平台建立在云基础设施之上,通过数据库集群搭建数据架构,数据被均匀分散在不同的节点。应用和服务也都通过服务器集群部署。可根据私有云规模决定集群的规模。随着用户和数据的增加,可以在各个集群中增加节点,以此来达到私有云的伸缩性。

 

另外,极海云平台作为一个整体,由几十个独立的功能单元组成,私有环境部署并不是整体打包,而是可以按照实际需求,就像搭积木一样按需部署。

看个例子,这是基于极海私有云,由极海和中规院联合开发的全国新型城镇化监控平台,充分利用地理大数据可视化和分析来掌握城镇化的发展现状。

 

最后总结一下。今天和大家介绍了极海云平台把数据、模型和计算能力放在云端,把地理技术的专业性复杂性放在云端,为大家提供一种低成本、低门槛的地理技术服务。我们认为,信息技术发展到这个阶段,云计算、大数据、人工智能汇集在一起,会赋予地理云平台更多的能力,比如更丰富的数据、更智能的分析模型,这也是极海正在积极去做的事情。

 

当然,最终的落脚点还是要能帮助大家解决实际问题。我们等待大家来检验。

PS:点击下图,即可体验最新的云平台服务哦,快来注册试用吧!


点击下图▼体验最新的云平台服务


点击下图▼进入极海博客

加入我们

扫描图片▼关注我们

有空常到我们的知乎“Hey狗哥”逛逛

联系合作

contact@geohey.com

Tel:13910118699 张先生

欢迎加入GeoHey技术支持QQ群:

164183186

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存